Ja. Vi bygger ett eget system för röst och video i Rust, med vår egen röstserver och vår egen samtalskod i alla Fluxers appar. Det kommer att ersätta LiveKit, programvaran för röst och video som samtal på Fluxer använder i dag. Det är punkt 2 på vår färdplan för 2026, vi planerar att släppa det under 2026, och alla samtal i det nya systemet kommer att vara end-to-end-krypterade.
Vad ändras med det nya röstsystemet?
Skrivbords-, webb- och mobilapparna kommer alla att flytta till det nya systemet.
- Alla samtal kommer att vara end-to-end-krypterade, utan någon inställning för att stänga av krypteringen och utan okrypterad reservlösning. Samtal i dagens system är inte end-to-end-krypterade.
- Ljud och video kommer att skickas över QUIC i stället för via WebRTC. Det nya systemet återskapar förlorade paket och anpassar sig efter din anslutning, och det kommer att gå snabbare att ansluta till ett samtal.
- Varje sändning kommer att få en egen anslutning, och ett problem med en sändning påverkar inte resten av samtalet lika lätt. En sändning kan också ha många fler tittare.
- Skrivbordsappen kommer att koda och avkoda video på ditt grafikkort på Windows, macOS och Linux när det går, och använda flera processortrådar när det inte går.
- Tal kommer att hålla bättre på anslutningar som tappar paket.
- Instanser på egna servrar utan röstserver kommer att kunna köra peer-to-peer-samtal i skrivbordsappen, med reläer som de driver själva eller utan reläer alls.
Varför bygger Fluxer ett eget röstsystem?
Med ett eget röstsystem blir vi mindre beroende av hur varje webbläsare och plattform hanterar WebRTC, med alla dess egenheter, och koden för samtal blir enklare för oss att underhålla. Vi kommer också att kunna se vad som händer i varje steg när någon ansluter till ett samtal.
I dag kör Fluxer samtal på en LiveKit-server, och apparna använder WebRTC, samtalstekniken som finns inbyggd i webbläsarmotorn. Det nya systemet har en röstserver som vi har byggt själva i stället för LiveKit-servern, och apparna får vår egen samtalskod i stället för WebRTC. Discords egna appar har använt sin egen signalering och kryptering över vanlig UDP i flera år, och bara Discords webbapp använder WebRTC.
Gatewayen är den del av Fluxer som håller dina appar uppdaterade i realtid, och i det nya systemet säger den direkt till röstservrarna vem som är med i vilket samtal. Det gör slut på de avvikelser vi hade när vi höll den informationen synkroniserad med LiveKit.
Hur kopplas samtal upp utan WebRTC?
Ljud och video kommer att skickas som RTP-paket över QUIC, ett modernt transportprotokoll för internet, och QUIC krypterar också anslutningen från appen till röstservern. Ljud och video skickas i QUIC-datagram, som inte väntar på förlorade paket, och det håller nere fördröjningen. Nyckelbildrutor, de hela videobildrutor som följande bildrutor bygger på, skickas över tillförlitliga QUIC-strömmar.
När paket försvinner kan det nya systemet skicka dem igen eller fylla luckan med redundant data. Det anpassar också bithastigheten efter vad din anslutning klarar.
Kommer det nya röstsystemet att fungera i min webbläsare?
Ja, om din webbläsare är tillräckligt ny för att ha två funktioner som webbappen behöver. WebTransport API ger appen QUIC-strömmar och opålitliga datagram över HTTP/3, och WebCodecs API ger den direkt tillgång till kodekar för ljud och video.
En webbläsare måste ha stöd för båda för att kunna ansluta till ett samtal i det nya systemet, och webbläsare utan dem kan inte ansluta. Webbläsaren och skrivbordsappen delar Rust-kod för att paketera video, kontrollera kodekar och köra DAVE, krypteringsprotokollet för samtal. Koden körs via WebAssembly i webbläsaren och direkt i skrivbordsappen.
Blir skärmdelningen bättre med det nya röstsystemet?
Ja. Sändningar kommer att vara skilda från samtal, och varje sändning kommer att få en egen anslutning och en egen process på röstservern. Ett problem med en sändning påverkar inte resten av samtalet lika lätt, och en sändning kan ha många fler tittare utan att samtalet blir långsammare.
Det nya systemet ersätter den kodning som ligger bakom den hackiga skärmdelning som en del ser i dag. Utan hårdvarukodare kan dagens system falla tillbaka på en programvarukodare för H.264 som körs på en enda tråd, och det är en känd orsak till hackig skärmdelning.
Hur kommer videokodningen att fungera i det nya röstsystemet?
Skrivbordsappen kommer att koda video på ditt grafikkort när det går. Den använder kodare från NVIDIA (NVENC), AMD (AMF) och Intel (QSV) på Windows, NVENC eller VAAPI på Linux och Apples VideoToolbox på macOS. Avkodningen använder också grafikhårdvaran, och utan hårdvarukodare använder programvarukodaren flera processortrådar.
När du delar skärmen på Windows eller macOS stannar varje bildruta på grafikkortet från att den fångas tills den kodas, och på Linux gör den det när PipeWire lämnar bildrutorna direkt till kodaren. Appen använder Windows Graphics Capture med Direct3D 11 på Windows, ScreenCaptureKit med VideoToolbox på macOS och PipeWire på Linux.
Video från andra ritas med operativsystemets egna grafik-API:er och inte inuti webbläsarmotorn, med Direct3D 11 på Windows, Metal på macOS och EGL på Linux med X11. Båda delarna innebär att videobildrutor kopieras mindre och att processorn får mindre att göra. Det nya systemet har stöd för videokodekarna H.264, H.265, AV1, VP8 och VP9.
Kommer rösten att låta bättre på en dålig anslutning?
Tal kommer att hålla bättre på anslutningar som tappar paket. Röst använder kodeken Opus med framåtriktad felkorrigering, som skickar lite extra data i varje paket, och med DRED, som använder djupinlärning för att återskapa tal från paket som aldrig kom fram.
Skrivbordsappen behåller bara en del av WebRTC, dess modul för ljudbehandling, och använder den för ekoreducering, automatisk förstärkningskontroll och ett högpassfilter som tar bort lågt muller. Brusreduceringen är vår egen och använder RNNoise och DeepFilterNet.
Blir samtal i det nya röstsystemet end-to-end-krypterade?
Ja. Alla samtal i det kommer att vara end-to-end-krypterade med DAVE, ett öppet protokoll från Discord som bygger på standarden MLS. Det skyddar ljudet från din mikrofon, video från din kamera, din skärmdelning och ljudet i din skärmdelning, utan någon inställning för att stänga av krypteringen och utan okrypterad reservlösning. Du kommer att kunna jämföra en verifieringskod med de andra i samtalet.
Kommer det nya röstsystemet att ha peer-to-peer-samtal?
Ja, för instanser på egna servrar. En instans utan röstserver kommer att kunna köra sina samtal peer-to-peer i skrivbordsappen, uppkopplade via Iroh. Instansen kan köra egna reläer för dem som inte kan ansluta direkt, eller inga reläer alls.
Läget gäller alla samtal på instansen, och webbläsare kan inte ansluta till peer-to-peer-samtal. Peer-to-peer-samtal i det nya systemet är också end-to-end-krypterade. I dagens system har fluxer.com separata peer-to-peer-samtal som slås på land för land.
Vad ändras för dem som driver Fluxer på egna servrar?
För att lägga till en röstserver på din instans behöver du bara ge den en registreringstoken när du sätter upp den, och din instans hittar servern automatiskt. Adminpanelen kommer att visa varje servers hälsa och belastning, och samtal skickas inte till en röstserver som inte mår bra.
I våra prestandatester är den nya röstservern snabbare och använder mindre minne än vår LiveKit-installation. Den kan också fördela bandbredd och serverkapacitet rättvist mellan användare, vilket håller processoranvändningen förutsägbar och gör röstservrar lättare att planera och skala.
Kommer det nya röstsystemet att lösa problemen som rapporterats?
Vi har listat de problem med röst, video och skärmdelning från Fluxer Feedback som det nya systemet löser, även dem vi löser innan det nya systemet släpps.
När kommer det nya röstsystemet?
Det är under utveckling, och vi planerar att släppa det någon gång under 2026. Runt mars 2026 sa vi att krypterade samtal skulle komma i nästa uppdatering, och den uppskattningen var för tidig.