آموزش ساخت دستیار صوتی شخصی با OpenAI Whisper + GPT

pip install openai
pip install speechrecognition
pip install pyaudio
pip install gtts
pip install pygame
pip install flask

import speech_recognition as sr
import openai

# تنظیم کلید API
openai.api_key = 'your-api-key-here'

def record_audio():
    recognizer = sr.Recognizer()
    microphone = sr.Microphone()
    
    with microphone as source:
        print("در حال گوش دادن...")
        recognizer.adjust_for_ambient_noise(source)
        audio = recognizer.listen(source)
        
    try:
        # استفاده از Whisper برای تشخیص گفتار
        print("در حال پردازش...")
        with open("audio.wav", "wb") as f:
            f.write(audio.get_wav_data())
            
        with open("audio.wav", "rb") as audio_file:
            transcript = openai.Audio.transcribe(
                "whisper-1", 
                audio_file,
                language="fa"  # برای تشخیص زبان فارسی
            )
            
        return transcript["text"]
    except Exception as e:
        print(f"خطا در تشخیص گفتار: {e}")
        return None

import openai

def get_gpt_response(user_input, conversation_history=[]):
    # اضافه کردن سوال جدید به تاریخچه مکالمه
    conversation_history.append({"role": "user", "content": user_input})
    
    try:
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[
                {"role": "system", "content": "You are a helpful assistant that responds in the same language as the user."},
                *conversation_history
            ],
            max_tokens=500,
            temperature=0.7
        )
        
        assistant_response = response.choices[0].message.content
        # اضافه کردن پاسخ دستیار به تاریخچه مکالمه
        conversation_history.append({"role": "assistant", "content": assistant_response})
        
        return assistant_response, conversation_history
        
    except Exception as e:
        print(f"خطا در دریافت پاسخ از GPT: {e}")
        return "متأسفانه در پردازش درخواست شما مشکلی پیش آمده است.", conversation_history

from gtts import gTTS
import pygame
import io
import os

def text_to_speech(text, lang='fa'):
    try:
        # ایجاد فایل صوتی از متن
        tts = gTTS(text=text, lang=lang, slow=False)
        
        # ذخیره در حافظه به جای فایل
        audio_bytes = io.BytesIO()
        tts.write_to_fp(audio_bytes)
        audio_bytes.seek(0)
        
        # پخش صوت
        pygame.mixer.init()
        pygame.mixer.music.load(audio_bytes)
        pygame.mixer.music.play()
        
        # منتظر ماندن تا پخش تمام شود
        while pygame.mixer.music.get_busy():
            pygame.time.Clock().tick(10)
            
    except Exception as e:
        print(f"خطا در تبدیل متن به گفتار: {e}")

from speech_to_text import record_audio
from text_to_response import get_gpt_response
from text_to_speech import text_to_speech
import time

class VoiceAssistant:
    def __init__(self):
        self.conversation_history = []
        self.is_listening = False
        
    def start_listening(self):
        self.is_listening = True
        print("دستیار صوتی فعال شد. برای خروج بگویید 'خداحافظ'")
        
        while self.is_listening:
            # ضبط صوت کاربر
            user_text = record_audio()
            
            if user_text:
                print(f"شما: {user_text}")
                
                # بررسی فرمان خروج
                if "خداحافظ" in user_text.lower() or "خدا حافظ" in user_text.lower():
                    self.stop_listening()
                    break
                
                # دریافت پاسخ از GPT
                response, self.conversation_history = get_gpt_response(user_text, self.conversation_history)
                print(f"دستیار: {response}")
                
                # تبدیل پاسخ به صوت و پخش آن
                text_to_speech(response)
                
    def stop_listening(self):
        self.is_listening = False
        print("دستیار صوتی غیرفعال شد.")

if __name__ == "__main__":
    assistant = VoiceAssistant()
    assistant.start_listening()

def handle_smart_home_commands(command):
    command = command.lower()
    
    if "چراغ" in command and "روشن" in command:
        # کد برای روشن کردن چراغ
        return "چراغ روشن شد"
    elif "چراغ" in command and "خاموش" in command:
        # کد برای خاموش کردن چراغ
        return "چراغ خاموش شد"
    elif "دما" in command:
        # کد برای خواندن دمای محیط
        return "دمای اتاق ۲۲ درجه سانتیگراد است"
    else:
        return None

# اضافه کردن این تابع به دستیار اصلی
def enhanced_get_response(user_input, conversation_history):
    # ابتدا بررسی می‌کنیم آیا دستور مربوط به خانه هوشمند است
    smart_home_response = handle_smart_home_commands(user_input)
    
    if smart_home_response:
        return smart_home_response, conversation_history
    else:
        # در غیر این صورت از GPT استفاده می‌کنیم
        return get_gpt_response(user_input, conversation_history)

from flask import Flask, render_template, request, jsonify
from voice_assistant import VoiceAssistant
import threading

app = Flask(__name__)
assistant = VoiceAssistant()

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/start_listening', methods=['POST'])
def start_listening():
    # اجرای دستیار در یک thread جداگانه
    thread = threading.Thread(target=assistant.start_listening)
    thread.daemon = True
    thread.start()
    return jsonify({"status": "started"})

@app.route('/stop_listening', methods=['POST'])
def stop_listening():
    assistant.stop_listening()
    return jsonify({"status": "stopped"})

if __name__ == '__main__':
    app.run(debug=True)

<!DOCTYPE html>
<html lang="fa" dir="rtl">
<head>
    <meta charset="UTF-8">
    <title>دستیار صوتی هوشمند</title>
    <style>
        body { font-family: Arial, sans-serif; text-align: center; padding: 50px; }
        button { padding: 15px 30px; font-size: 18px; margin: 10px; cursor: pointer; }
        .listening { background-color: #ff4444; color: white; }
    </style>
</head>
<body>
    <h1>دستیار صوتی هوشمند</h1>
    <button id="startBtn" onclick="startListening()">شروع گوش دادن</button>
    <button id="stopBtn" onclick="stopListening()" disabled>توقف گوش دادن</button>
    <div id="status">دستیار آماده است</div>
    
    <script>
        function startListening() {
            fetch('/start_listening', { method: 'POST' })
            .then(response => response.json())
            .then(data => {
                document.getElementById('startBtn').disabled = true;
                document.getElementById('stopBtn').disabled = false;
                document.getElementById('status').textContent = 'در حال گوش دادن...';
                document.getElementById('status').className = 'listening';
            });
        }
        
        function stopListening() {
            fetch('/stop_listening', { method: 'POST' })
            .then(response => response.json())
            .then(data => {
                document.getElementById('startBtn').disabled = false;
                document.getElementById('stopBtn').disabled = true;
                document.getElementById('status').textContent = 'دستیار آماده است';
                document.getElementById('status').className = '';
            });
        }
    </script>
</body>
</html>