Nogle organisationer ønsker selv at drive AI-løsningerne i deres eget miljø, mens andre foretrækker, at behandlingen sker på vores servere placeret i EU. Det kan skyldes hensyn til datasikkerhed, compliance eller ønsket om at undgå selv at opbygge og vedligeholde GPU infrastruktur.
Hos Rigtigt ApS arbejder vi bevidst med AI-løsninger, der kan køre på relativt små og overskuelige setup — både on-premise hos kunden og på vores EU-baserede infrastruktur — uden krav om store GPU klynger eller hyperscale miljøer.
Vores fokus er praktiske løsninger, der kan implementeres hurtigt og drives stabilt over tid.
Overordnet arkitektur
Løsningerne er bygget som en pipeline, der typisk består af:
- Lydindlæsning (filer eller streams)
- Automatisk tale-til-tekst
- Segmentering i meningsfulde dele
- Opsummering og udtræk af centrale pointer
- Levering af struktureret output (tekst, JSON, API)
Arkitekturen kan afvikles:
- som batch-jobs (fx analyser af møder, debatter eller podcasts)
- kontinuerligt (fx overvågning af løbende lydstrømme)
Hardwarekrav (GPU)
Vi designer løsningerne til at fungere effektivt på mindre GPU-setup.
Typiske krav:
- GPU med 24-40 GB VRAM
- NVIDIA baserede kort (fx L4, A10, A40 eller tilsvarende)
- Én GPU er ofte tilstrækkelig for de fleste workloads
Dette gør løsningen velegnet til:
- on-premise installationer
- mindre datacentre
- private cloud miljøer
- EU baserede servere uden specialhardware
CPU, RAM og storage
CPU
- Moderne x86-64 CPU
- 8–16 kerner er typisk tilstrækkeligt
RAM
- 32–64 GB RAM anbefales
- Afhænger af batch størrelser og parallelitet
Storage
- SSD anbefales
- Pladsbehov afhænger primært af mængden af lyddata og retention krav
Software og runtime
Løsningerne kan leveres som:
- container baserede services (Docker / Kubernetes)
- standalone services på dedikerede maskiner
Typisk stack:
- Linux (Ubuntu / RHEL-baseret)
- Container runtime
- Moderne LLM-inference engines
- REST- eller event-baserede API’er
Vi tilpasser opsætningen efter kundens eksisterende platform og driftsmodel.
Netværk og integration
Systemet kan integreres med:
- eksisterende dokument- og arkivsystemer
- interne API’er
- sags- og journalsystemer
- data lakes eller analyseplatforme
Der er ingen krav om offentlig internetadgang, hvis løsningen køres on-premises.
Drift og support
Vi kan hjælpe med:
- opsætning og idriftsættelse
- tuning af performance og ressourceforbrug
- overvågning og drift
- løbende opdateringer af modeller
Både ved on-premise installationer og drift på vores EU baserede infrastruktur.