macOS · SwiftUI
Suggst combine le contexte de référence, celui de l’échange et la parole transcrite pour préparer une réponse après une action explicite.
Vue d’ensemble
Le problèmeUne question en réunion peut demander de croiser des informations de référence avec les éléments propres à l’échange, tout en suivant la conversation.
La solutionSuggst associe deux contextes enregistrés à une capture audio autorisée. Sur déclenchement manuel, il transcrit, extrait la demande et prépare une réponse contextualisée.
Renseigner un contexte de référence réutilisable et les informations propres à l’échange. Le contexte durable et celui de la discussion sont enregistrés séparément.
1 / 4: Préparer les contextes. Étape précédente / Étape suivante
Une chaîne pilotée par SwiftUI traite l’audio en local, extrait la demande, puis appelle OpenAI avec le contexte sélectionné.
SwiftUI
Interface et action explicite de l’utilisateurAVFoundation, ScreenCaptureKit
Microphone, audio système et extraits identifiésSwift, WhisperKit
Transcription finale et extraction de la demandeOpenAI Responses API
Réponse fondée sur la demande et les contextesLes traitements asynchrones peuvent aboutir dans le désordre ou livrer un événement en double.
Identifiants par question, résultats scellés et ingestion idempotente avec rejet des événements incohérents.
Le microphone et l’audio système dépendent de fournisseurs et d’autorisations distincts.
Deux fournisseurs natifs coordonnés, avec un état explicite quand la capture système est indisponible.
Les contextes et contenus d’échanges peuvent comporter des informations sensibles.
Stockage local des documents, secret API dans le Trousseau et envoi ciblé des éléments utiles à OpenAI.
La réponse doit arriver assez vite pour rester utile dans l’échange, malgré le cumul des traitements audio, de transcription et de génération.
Transcription locale, génération en streaming avec aperçu progressif et télémétrie par étape pour identifier les temps d’attente.
Stack technique principale
Écrans de contextes, écoute, préparation et restitution réunis dans une interface SwiftUI.
Capture, transcription WhisperKit, extraction locale et génération OpenAI reliées au déclenchement manuel.
Cockpit de développement, traces structurées, corpus de tests et scripts de build intégrés au dépôt.