Iniciar um projeto Começar
Estudos de casoModelo de estudo de caso · SayMo
SayMo Pro: estatísticas com dados de exemplo e controles de gravação expandidos
SayMoDitado · Aplicativo macOS
Controle de gravação expandido do SayMo na demonstração do navegador: configurações, histórico, gravação AUTO, colar e idioma do teclado.
O controle de gravação expandido; demonstração da interface

Serviços

  • Design de produto
  • Design UX/UI
  • Desenvolvimento de aplicativos

Ferramentas

  • Análise de concorrentes
  • Modelagem de ameaças
  • Análise do ciclo de vida dos dados
  • Auditoria dos fluxos do usuário
  • Análise de lacunas de segurança

Tecnologias

  • Swift
  • AppKit
  • WebKit
  • whisper.cpp
  • Metal
  • Parakeet
  • Core ML
  • FluidAudio
  • CTranslate2
  • M2M-100
  • CryptoKit
  • LocalAuthentication

SayMo

O SayMo transforma fala em texto no aplicativo do Mac que você já está usando. Desenvolvido internamente para o nosso trabalho diário, também reúne solicitações de permissão de agentes de IA em um só lugar, para que responder não signifique procurar entre conversas abertas.

O problema

Ditar uma tarefa e responder a um agente são pequenas ações repetidas em muitas janelas. Queríamos que ambas se encaixassem no trabalho já exibido na tela, com uma forma de recuperar um ditado quando o reconhecimento ou a inserção não acontecessem como esperado.

Decisões de design

Projetamos um controle compacto na borda da tela e atalhos que iniciam a gravação sem abrir outra janela. As solicitações de permissão aparecem com contexto suficiente para responder à conversa certa.

Fizemos da recuperação parte do fluxo normal: o texto reconhecido é salvo antes da inserção, e as gravações inacabadas continuam disponíveis para outra tentativa. O reconhecimento de fala é executado localmente no Mac.

Nossa contribuição

Definimos os fluxos de captura, inserção e recuperação, projetamos a interface e desenvolvemos o aplicativo nativo para macOS. Nosso uso diário orienta o desenvolvimento. Este estudo mostra a versão atual em desenvolvimento.

Painel de solicitações do SayMo suspenso na parte superior de um fundo azul com uma solicitação do Claude Code: projeto saymo, conversa Versão de lançamento, Compile o aplicativo e execute os testes, o comando exato, depois Permitir uma vez, Recusar e Não, e diga ao Claude o que fazer em vez disso
Um exemplo de solicitação do Claude Code com seu projeto, tarefa e respostas disponíveis

Leve a solicitação pendente até a pessoa.

Uma solicitação de permissão pode interromper o trabalho em uma de muitas conversas abertas. Reunimos o projeto, a conversa e o comando exato em um painel no topo da tela, dando a cada solicitação contexto suficiente para uma decisão.

A pessoa pode permitir a solicitação, recusá-la ou dar uma instrução diferente. A resposta pertence àquela solicitação, então responder não depende de qual janela de trabalho está na frente.

Configurações de Ditado do SayMo: modo Transcrição, idioma Automático, modelo Parakeet no Neural Engine, gatilho Mouse 5, modo de gravação Segurar e clicar
Reconhecimento local e acionamento da gravação em uma única tela de configurações

Comece a falar a partir da tarefa já aberta.

Um atalho de teclado ou botão lateral do mouse inicia a gravação enquanto o aplicativo atual mantém o foco. O SayMo transcreve no Mac e insere o resultado no cursor ativo.

O controle de gravação permanece compacto, e o gatilho e o modo de gravação podem ser escolhidos em uma única tela de configurações. Isso mantém o ditado recorrente próximo da forma como a pessoa já trabalha.

Janela do SayMo, página Ditados: um campo de busca e ditados agrupados por dia, cada um com horário, aplicativo e duração, preenchidos com dados de exemplo
Histórico de ditados pesquisável com horário e contexto do aplicativo; entradas de exemplo

Salve as palavras antes de inseri-las.

Uma falha na inserção deve deixar um ditado utilizável. Salvamos o texto reconhecido no histórico antes de inseri-lo, com o horário e o aplicativo para ajudar a encontrá-lo depois.

Se o reconhecimento falhar, a gravação é mantida para outra tentativa. O histórico oferece um lugar para pesquisar e recuperar o texto. O arquivo é criptografado no disco, com o bloqueio do histórico ativado por padrão.

Uma ferramenta nativa moldada pelo uso diário.

Projetamos e desenvolvemos o SayMo a partir do nosso próprio trabalho entre aplicativos e conversas com IA. A página do aplicativo permite explorar demonstrações no navegador dos controles e das solicitações a agentes. A entrada de microfone e as configurações nessas demonstrações são simuladas.

Outros projetos

PT