Naar de inhoud

Je eigen AI-⁠model, speciaal ontwikkeld voor jouw taak.

Een AI-model dat speciaal voor jouw taak wordt ontwikkeld en volledig op je eigen hardware draait: op de telefoon, op de laptop of op een server zonder internetverbinding. Voor werk waarbij gevoelige data het apparaat niet mag verlaten.

  • Ontwikkeld voor één specifieke taak
  • Draait volledig lokaal, zonder cloud
  • Telefoon, laptop of air-gapped server
  • Draait op Qualcomm Snapdragon Apple silicon NVIDIA Intel Arm Android
  • Werkt met PyTorch ONNX Hugging Face

In één oogopslag

Je eigen AI-model, op je eigen hardware. Je gevoelige data verlaat het gebouw niet.

  1. Verfijnen.

    Samen met je team verfijnd voor jouw taak.

    Meer over het model
  2. Trainen.

    Op de juiste data: je eigen of gelicenseerd.

    Meer over de trainingsdata
  3. Testen.

    Pas live als het de test doorstaat.

    Meer over de evaluatie
  4. Draaien.

    Versleuteld op je eigen hardware, zonder cloud.

    Meer over de beveiliging

Een eigen model begint met jouw idee.

Bespreek je idee met een engineer

Lokaal of cloud

Gevoelige data hoort niet in de cloud. Een lokaal model houdt alles op je eigen hardware.

Bij een cloudmodel gaat elke vraag, elk document en elke opname het gebouw uit, naar de servers van een ander. Een lokaal model heeft geen verbinding nodig: het werk gebeurt op het apparaat zelf.

  • Cloudmodel, via internet : 1,2 s
  • Lokaal model op de NPU : 35 ms
Voorbeeld: responstijd van één korte vraag

Het antwoord komt van het apparaat zelf.

Er gaat niets naar buiten: geen upload, geen datacenter en geen download.

  • Data blijft op het apparaat Geen byte naar een cloudserver
  • Werkt offline Ook zonder internetverbinding
  • Geen kosten per vraag Hoe vaak je model ook draait

Waar het draait

Op de telefoon, de laptop of een server zonder internet.

De geheimhouding bepaalt de plek: de telefoon voor wat het toestel niet mag verlaten, de laptop voor een dossier dat offline blijft, en een air-gapped server voor wat het hele bedrijf geheim houdt.

Draait op

  • Apple silicon
  • Android
Vraag naar een air-gapped AI-server
  • Op de telefoon

    Een vertrouwelijk bestuursoverleg wordt op de telefoon zelf uitgeschreven en samengevat.

  • Op de laptop

    Een advocaat analyseert een vertrouwelijk dossier offline, op de eigen laptop.

  • Op een air-gapped server

    Het hele bedrijf bevraagt zijn vertrouwelijke archief, op een server die nooit aan internet hangt.

Het model

Je model start op de nieuwste open-weight modellen.

Elke nieuwe release testen we op jouw taak. De beste basis verfijnen we samen met je team tot een model dat je vak beter kent en sneller werkt dan een generiek model.

Werkt met

  • Hugging Face

Kiezen en verfijnen

Samen met je team verfijnd voor de taak.

Eerst leggen we samen vast wat het model moet doen en wanneer het goed genoeg is. Dan kiezen we de basis die bij de taak past en verfijnen die met fine-tunen en distillatie, tot het jullie vaktaal en werkwijze beheerst.

  • Decoder-SLM’s
  • Encoders
  • Vision-language
  • Spraak

Elke licentie checken we vooraf: model en weights zijn van jou.

Trainingsdata

Per taak de juiste trainingsdata.

Waar een model van leert, hangt af van de taak: je eigen documenten, gelicenseerde of openbare datasets, zorgvuldig gegenereerde voorbeelden, of een mix. Alles wordt gelabeld volgens vaste regels, en een deel gaat apart om op te testen.

Je trainingsdata

Samengesteld per taak

  • Eigen, gelicenseerd of openbaar
  • Gegenereerd waar dat nodig is
  • Een testdeel blijft apart
  1. Kiezen

    De bronnen per taak: eigen documenten, gelicenseerde of openbare sets.

  2. Opschonen

    Dubbelingen eruit, persoonsgegevens afgeschermd.

  3. Labelen

    Volgens vaste regels, zodat elk voorbeeld gelijk wordt beoordeeld.

  4. Aanvullen

    Gegenereerde voorbeelden waar echte data schaars of te gevoelig is.

  5. Apart houden

    Een deel blijft buiten de training, voor de eindtest.

Distillatie

Een groot model leert jouw specialist de taak.

Zo wordt je model klein genoeg voor een telefoon of laptop en blijft het vrijwel net zo nauwkeurig op jouw taak, dankzij SFT, LoRA en DPO.

  • Omvang

    100×

    Tot honderd keer kleiner dan het grote model

  • Nauwkeurigheid

    99%

    Vrijwel even nauwkeurig, gemeten op jouw taak

  • Rekenkracht

    1%

    Een fractie van wat het grote model vraagt

Zo leert je specialist:

  • SFT
  • LoRA
  • QLoRA
  • DPO
  • Knowledge distillation

Optimalisatie

Van seconden naar milliseconden, op de chip die je al hebt.

Je model gaat van fp32 naar int4 en van gigabytes naar megabytes, gecompileerd voor de NPU. Na elke stap controleren we dat de antwoorden hetzelfde blijven.

Werkt met

Minder bits, dezelfde antwoorden.

Je model krijgt minder bits per gewicht, overbodige delen gaan eruit en het wordt gecompileerd tot één graph voor de chip. Zo past het in het geheugen van een telefoon of laptop en antwoordt het in milliseconden.

Technieken:

  • int8
  • int4
  • AWQ
  • Pruning
  • Operator fusion
  • AOT-compilatie
meeting-notes 1,7B naar 210M parameters NPU · int4
p95-latency per request 38ms
  1. fp32 · baseline 2.140 ms
  2. distilled · fp16 410 ms
  3. int8 · CPU 96 ms
  4. int4 · NPU 38 ms
Geheugen
7,2 GB naar 460 MB
Tokens/s
286
Parity
±0,004

Evaluatie

Je model gaat pas live als het de test doorstaat.

Getest op data die het model nooit heeft gezien: nauwkeurigheid op jouw taak, vaktaal, lastige gevallen en pogingen om het te misleiden of er gegevens uit te halen. De lat leg je vooraf samen met ons vast.

Klaar voor productie

Elke drempel gehaald op de testset

  • Nauwkeurigheid gehaald
  • Vaktaal goed begrepen
  • Lastige gevallen doorstaan
  • Lekt geen gegevens

Beveiliging

Je model is versleuteld en opent alleen op vertrouwde apparaten.

Op telefoon en laptop staat het model versleuteld en opent het alleen in een afgeschermd deel van de chip van een vertrouwd apparaat. De air-gapped server heeft helemaal geen verbinding met de buitenwereld.

Je model beschermd

Afgeschermd, op elk apparaat

  • Weights versleuteld
  • Alleen op vertrouwde apparaten
  • Server zonder internetverbinding

Aanpak

Van haalbaarheid tot model in productie:

Begin klein met een haalbaarheidscheck, of laat het hele traject aan ons over. Getraind wordt waar je data mag zijn: op je eigen hardware of in een afgeschermde omgeving zonder internet.

Het traject

Elke stap is ook los af te nemen. Het werk doen wij.

Stap 1 van 5 · Haalbaarheid

Je ziet vooraf wat een eigen model haalt.

Samen bepalen we de taak, hoe streng de geheimhouding is en waar het model moet draaien. Dan testen we de beste open-weight modellen op voorbeelden van die taak, zodat je zwart op wit ziet waar je begint.

Mag de data het pand uit, dan on-⁠demand GPU-⁠capaciteit:

  • B200
  • H200
  • H100

Vragen

Vragen over AI Model Engineering.

Wat bestuurders en IT-teams ons het vaakst vragen over een eigen AI-model dat lokaal draait.

Wat is AI Model Engineering?

We ontwikkelen samen met je bedrijf een AI-model voor één specifieke taak en laten het volledig lokaal draaien: op de telefoon, op de laptop of op een server zonder internetverbinding. Geen generiek model dat alles een beetje kan, maar een model dat we kiezen, verfijnen en testen tot het jouw taak beter en sneller doet. Het is bedoeld voor werk waarbij gevoelige data het apparaat of het gebouw niet mag verlaten. In vaktaal heet dat edge AI: het model draait op de plek waar de data is.

Waarom niet gewoon een groot cloudmodel?

Omdat je data dan het gebouw uit gaat. Bij een cloudmodel reist elke vraag, elk document en elke opname naar de servers van een ander. Voor een bestuursoverleg, een patiëntdossier of de stukken van een overname is dat geen optie. Een eigen model draait lokaal, werkt offline en kost niets per vraag. En omdat het voor één taak is verfijnd, doet het die taak vaak beter dan een groot generiek model.

Waar draait het model?

Dat hangt af van hoe streng de geheimhouding is. Op de telefoon voor wat het toestel niet mag verlaten, zoals een vertrouwelijk gesprek dat ter plekke wordt uitgeschreven. Op de laptop voor analyse die offline moet, zoals een procesdossier doorzoeken. En op een air-gapped AI-server in je eigen gebouw voor wat het hele bedrijf geheim moet houden, zoals een archief met onderzoeks- of octrooidossiers. Technisch draait het op de NPU van moderne telefoons en laptops (Qualcomm Snapdragon, Apple silicon, Intel), op GPU’s van NVIDIA en op Arm- en x86-processors. We compileren het voor precies die chip en meten de snelheid op het echte apparaat.

Welke basismodellen gebruiken jullie?

De basis is een state-of-the-art open-weight model: decoder-SLM’s voor tekst, encoders voor classificatie en zoeken, en vision- of spraakmodellen waar de taak dat vraagt. Per taak kiezen we de basis op kwaliteit, grootte en licentie, en die verfijnen we samen met je team tot hij jullie vaktaal en werkwijze kent.

Hoe klein kan een model worden zonder kwaliteit te verliezen?

Dat hangt af van de taak, en dat meten we in plaats van het te beloven. Een afgebakende taak, zoals een vergadering uitschrijven en samenvatten of afwijkende clausules in contracten vinden, past vaak in een model van een paar honderd miljoen parameters, gedistilleerd van een groot teacher-model en gequantiseerd naar int8 of int4. Na elke stap toetsen we op held-out data: zakt de kwaliteit onder de afgesproken grens, dan gaat die stap niet door.

Hoe beschermen jullie het model en de data?

Op telefoon en laptop staan de weights versleuteld. De sleutel komt alleen vrij voor een apparaat dat bewijst dat het echt is en niet gekraakt, en waar de hardware het biedt, draait het model in een afgeschermd deel van de chip (een TEE). Een air-gapped server heeft helemaal geen verbinding met internet. Voordat het live gaat, red-teamen we het model tegen pogingen om het of je data eruit te halen.

Welke trainingsdata is er nodig?

Dat hangt af van de taak, en het is niet altijd je eigen data. Soms leert het model van je eigen documenten, soms van gelicenseerde of openbare datasets, soms van zorgvuldig gegenereerde voorbeelden, en vaak van een mix. Alles wordt gelabeld volgens vaste regels. Een deel houden we apart als testset, zodat we de kwaliteit meten op data die het model nooit heeft gezien.

Wat kost het?

Het begint met een haalbaarheidscheck: we bepalen samen de taak, de geheimhouding en waar het model moet draaien, en laten zien wat een eigen model haalt. Daarna krijg je een prijsvoorstel op basis van de scope, met de stappen en de rekenkracht die het werk vraagt.

Contact

Bespreek je taak met een engineer.

Vertel kort welke taak je lokaal wilt laten doen en hoe streng de geheimhouding is. Een van onze engineers denkt mee over het model, de trainingsdata en waar het moet draaien.

Je spreekt direct een inhoudelijke specialist.

Bij ons geen accountmanagers of tussenpersonen. Vertel waar je tegenaan loopt, dan laten we je direct zien welke oplossing werkt.

Meer hebben we niet nodig. Zie ook onze privacyverklaring.

Plan je route

Zoek in onze diensten, het nieuws en de rest van de site.