Zilliz introduceerde Milvus v3.0, de open-source vectordatabase, en voegde lake-native datatoegang en een verbeterde ophaalengine toe voor productie-AI-ontwikkelaars.
Lake-native architectuur bewaart onbewerkte gegevens in open formaten op objectopslag in de cloud, in plaats van deze te dupliceren in zelfstandige databases. Zilliz onthulde zijn Vector Lakebase-concept in de openbare preview van juni; CEO Charles Xie beschreef het als een uniforme databasis die realtime queries, dataverkenning en AI-trainingspijplijnen van meerdere petabytes mogelijk maakt zonder datakopieën, migratie of parallelle opslagstacks. De uniforme objectopslaglaag ondersteunt zowel online vectorzoekopdrachten met lage latentie als grootschalige analyses op identieke bronbestanden.
Mede-oprichter en CTO van Zilliz, James Luan, merkte op: "Milvus 3.0 voert het ophalen van productie rechtstreeks uit bovenop bestaande datastores en levert een krachtigere motor voor moderne AI-workloads. Deze zelfde kern drijft Zilliz Vector Lakebase aan, uitgebreid met elastische schaling, vereenvoudigde bewerkingen en tools op ondernemingsniveau voor grootschalig AI-gegevensbeheer."
Vectordatabases slaan numerieke vectorinsluitingen op voor tekst, afbeeldingen en andere inhoud om het zoeken naar overeenkomsten mogelijk te maken. Zilliz stelt dat Milvus 's werelds meest gebruikte open-source vectordatabase is, gebruikt door meer dan 10.000 bedrijven voor RAG, aanbevelingsengines en AI-agents, met meer dan 100 miljoen Docker-pulls geregistreerd.
Traditionele AI-pijplijnen onderhouden afzonderlijke gegevenskopieën voor real-time ophalen en offline analyses, wat extra opslagkosten, langdurige gegevensexporten, synchronisatiepijplijnen en zware operationele overhead met zich meebrengt.
Kern Milvus 3.0-mogelijkheden
1. Externe collecties: Creëer Milvus-collecties via lake-bestanden in Lance, Iceberg, Parquet of Vortex. Het systeem bouwt vector-, full-text-, JSON- en scalaire indexen op brongegevens zonder duplicatie, en maakt deze toegankelijk via standaard native API's. Incrementele synchronisatie werkt indexen automatisch bij als lake-gegevens veranderen.
2. Loon-opslagengine: Een nieuwe, op manifesten gebaseerde engine die leesversterking vermindert voor het opzoeken van objectopslag met lage latentie, waarbij gebruik wordt gemaakt van open Arrow-compatibele Vortex als standaard kolomformaat.
3. Point-in-time-snapshots: Lichtgewicht, alleen-lezen momentopnamen van verzamelingen maken het mogelijk offline deduplicatie-, evaluatie- en validatietaken uit te voeren op stabiele datasets zonder de productieschrijfbewerkingen te verstoren.
4. Spark-connector en batchoperatoren: Een Spark DataSource V2-connector integreert Milvus met Spark-, Databricks- en EMR-batchworkflows, naast native vectorbatchfuncties voor deduplicatie en clustering.
Standaard Top-K-vectorzoekopdrachten halen alleen de meest vergelijkbare vectoren op door afstandsberekening, en lijden onder slechte schaling met hoge vectoraantallen en afmetingen. Milvus 3.0 breidt het ophalen uit tot veel verder dan het zoeken naar de dichtstbijzijnde buur:
1. Sorteren, aggregeren en facetzoeken op de server combineren semantische gelijkenis met metadatafilters (tijdstempel, prijs, categorie, huurder enz.), waardoor nabewerking aan de clientzijde wordt geëlimineerd.
2.StructList multi-vector retrieval ondersteunt entiteiten met meerdere inbedding (documentfragmenten, afbeeldingspatches, multimodale productgegevens) en werkt met late-interactiemodellen zoals ColBERT en ColPali.
3. De geoptimaliseerde sparse-index verkleint de opslagvoetafdruk met ~70% terwijl de oorspronkelijke terugroepprestaties worden geëvenaard, gecombineerd met door SINDI geleerde sparse-vectoren, ingebouwde MinHash, null-vectorvelden, aangepaste volledige-tekstwoordenboeken en bredere Faiss-indexcompatibiliteit.
Luan voegde eraan toe dat productie-AI-workloads rangschikking, groepering en multi-vector lookup in de database vereisen, en v3.0 herwerkte opslag om snelle toegang tot objectopslag te bieden naast rijkere in-engine verwerking.
Deze verenigde kern drijft zowel zelf-gehoste open-source Milvus als de volledig beheerde Zilliz Cloud aan. Zilliz Cloud breidt de basisengine uit naar een complete Vector Lakebase met elastische rekenkracht, ontdekkingstools, batchanalyses, uniforme indexering, bedrijfsbeheer en automatisering op één enkele bron van AI-gegevens.
Concurrentiecontext binnen de sector
De update verhoogt de druk op rivalen Pinecone, Qdrant en Weaviate, die allemaal racen om de zoeklatentie te verkorten: Qdrant lanceerde in april snellere indexering, clusters met hoge beschikbaarheid en compliance-auditlogs; Pinecone heeft in mei voorberekende vectorsets en samenstelbare retrievers geïntroduceerd om de workflows van agenten te versnellen.
Verkopers van pure vectordatabases concurreren met multi-modelplatforms, waaronder Regatta, SingleStore en SurrealDB. Hoewel ze integreren met lakehouses zoals Databricks en Snowflake, worden diepere partnerschappen tussen databases geconfronteerd met barrières op het gebied van architectuur en opslagengines. De markt kan zien dat vectorspelers in de loop van de tijd native ondersteuning voor gestructureerde, grafische, document- of tijdreeksen toevoegen.
Beschikbaarheid
Milvus 3.0 blijft een LF AI & Data-afgestudeerd project onder Apache 2.0-licenties, inzetbaar via Docker of Kubernetes, inclusief air-gapped-omgevingen, met compatibiliteit voor S3-, GCS- en Azure Blob-objectopslag. De initiële SDK-dekking omvat Python, Go en Node.js, met toekomstige Java-ondersteuning. Broncode, release-opmerkingen en snelstartgidsen worden gehost op GitHub, naast community-kantooruren voor ondersteuning voor ontwikkelaars.
Managed Zilliz Cloud integreert Milvus 3.0 als de belangrijkste indexeringslaag, waardoor bedrijfselasticiteit, beveiliging en uniforme activiteiten worden toegevoegd via één gedeelde gegevenskopie.
Voetnoot
Externe collecties implementeren zero-copy lake-indexering zonder datamigratie; Loon lost het knelpunt bij leesversterking op dat voorheen de objectopslag beperkte voor vectorquery's met lage latentie.
Beijing Qianxing Jietong Technologie Co., Ltd.
Sandy Yang/directeur mondiale strategie
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
ICT-productdistributie/Systeemintegratie en -diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productdienstverlener!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
