milvus-channels是一个链接milvus和其它源的工具,愿景是围绕milvus构建多源、高效的数据同步工具集。 本工具支持以下功能: 1、将指定milvus集合中的数据同步到指定的文件; 2、将指定文件(文件的数据格式需要满足要求)中的数据同步到指定的milvus集合; 3、将指定milvus集合中的数据同步到另外一个指定的milvus(可同机或异机)集合; 4、将指定milvus集合中的数据同步到clickhouse。
本工具要求预先安装JDK8。
1、复制config.yaml.default文件并重命名为config.yaml,然后按实际填写对应的配置信息。 2、linux环境运行sh run.sh windows环境运行run.bat 如果预置的jvm配置不满足任务要求,请手工修改run.sh或run.bat文件。
https://milvus.io/
https://clickhouse.com/blog/vector-search-clickhouse-p2
1、项目目前线程模型为单线程,在后续版本中需要变更为为多线程; 2、修改bug,丰富当前功能; 3、拓展更多的向量库组件