Thanks to visit codestin.com
Credit goes to github.com

Skip to content

Fixed issue with batching and file handling logic #42

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom
Merged
merged 1 commit into from
Jul 30, 2023
Merged

Fixed issue with batching and file handling logic #42

merged 1 commit into from
Jul 30, 2023

Conversation

@prrao87
Copy link
Owner

@prrao87 prrao87 commented Jul 30, 2023

Detailed description of issue and fixes are given in the meilisearch_python_async repo.

In a nutshell:

  • On macOS + arm64 (M2), it becomes necessary to handle the files in chunks, and then pass it to the Meilisearch async Python client that will process the files in batches.
  • Too many files being sent, or too large batches being created by the client would mean that the OS runs out of buffer space
  • For this dataset, the "sweet spot" is 5 files (each with 130k records) being sent to the client at a time, with a batch size of 10k records being ingested concurrently into Meilisearch at a time.

I'm not sure if this same workflow is required on Ubuntu, so would appreciate if you could take a look at this and see if a large batch size + more files being processed concurrently is possible in Ubuntu @sanders41. Thanks!

@prrao87 prrao87 merged commit d36089f into main Jul 30, 2023
@prrao87 prrao87 deleted the bugfix-meilisearch branch July 30, 2023 16:42
@prrao87 prrao87 mentioned this pull request Jul 30, 2023
Closed
@sanders41
Copy link
Contributor

sanders41 commented Jul 31, 2023

I had to really push things before I saw issues. For me concurrency was never an issue, my issue was when I pushed things so far I ran out of RAM and the program crashed.

python bulk_index_async.py -n 10 --batchsize 500000 --file_chunksize 100 gave me:

Finished updating database index settings
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10/10 [00:27<00:00,  2.77s/it]
Handling file chunks: 1it [00:27, 27.66s/it]████████████████████████████████████████████████████████████████████████████████████████████████▉               | 9/10 [00:27<00:00,  1.30it/s]
Bulk index took 27.7018 seconds
Finished running benchmarks

With python bulk_index_async.py -n 100 --batchsize 500000 --file_chunksize 100 I ran out of RAM and things crashed. Are there any other numbers you would like me to try?

My machine

  • Linux kernel 6.1.39-1-lts
  • Intel i7 desktop
  • 32gb RAM with and extra 32gb swap.
  • Python 3.11.4 (CPython, installed via pyenv)

@prrao87
Copy link
Owner Author

prrao87 commented Jul 31, 2023

Could you try python bulk_index_async.py -n 100 --batchsize 10000 --file_chunksize 5 and python bulk_index_async.py -n 100 --batchsize 10000 --file_chunksize 20 and post the timing numbers as well?

I think it makes more sense to keep batch sizes low-ish but add more files to process concurrently in a real situation.

I'm still a bit surprised that the results are OS-specific tho -- do you think the difference between 16GB RAM on my end and 32 GB on yours makes all the difference, or is there an OS angle?

@sanders41
Copy link
Contributor

sanders41 commented Jul 31, 2023

With Mac being Unix under the hood, it seems to me that the OS is unlikely to be the difference. I had htop running durring my runs and could see the exact point my RAM maxed out and the program would crash there every time. Maybe you could try that and see if your RAM is maxed when the error returns. My program would crash all together and I wouldn't get an error at all, but maybe Mac is handling that better and giving you the error instead.

  • python bulk_index_async.py -n 100 --batchsize 10000 --file_chunksize 5
Finished updating database index settings
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.70s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:14<00:00,  2.92s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.69s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.67s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.70s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.67s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.65s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.69s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.66s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.63s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.64s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.66s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.65s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.65s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.62s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.63s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.64s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.63s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.62s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:13<00:00,  2.64s/it]
Handling file chunks: 100%|██████████████████████████████████████████████████████████████████████████████████████| 20/20 [04:26<00:00, 13.34s/it]
Bulk index took 266.8564 seconds
Finished running benchmarks
  • python bulk_index_async.py -n 100 --batchsize 10000 --file_chunksize 20
Finished updating database index settings
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:55<00:00,  2.76s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:54<00:00,  2.74s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:53<00:00,  2.69s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:54<00:00,  2.70s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:53<00:00,  2.68s/it]
Handling file chunks: 100%|████████████████████████████████████████████████████████████████████████████████████████| 5/5 [04:31<00:00, 54.29s/it]
Bulk index took 271.4923 seconds
Finished running benchmarks

@prrao87
Copy link
Owner Author

prrao87 commented Aug 1, 2023 •
edited
Loading

Hmm, yeah I think there's something to do with the combo of arm64 architecture + macOS and whatever it's doing under the hood that causes it to return an error no matter what. htop didn't show anywhere near full memory usage too. So I have no clue what's causing it.

But in a cloud Linux instance, this likely wouldn't be an issue! Thanks for checking it out on your end, and overall, I think there's an overall great solution for doing this on any real data in production. Cheers!

$ python bulk_index_async.py -n 100 --batchsize 10000 --file_chunksize 20

Finished updating database index settings
Handling file chunks:   0%|                | 0/5 [00:00<?, ?it/s
MeilisearchError. Error message: .: Error while indexing to db/it]
Handling file chunks:  20%|█▌      | 1/5 [00:43<02:54, 43.59s/itC
image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Reviewers

No reviews

Assignees

No one assigned

Labels

None yet

Projects

None yet

Milestone

No milestone

Development

Successfully merging this pull request may close these issues.

3 participants

@prrao87 @sanders41